英伟达悄然垄断算力：人工智能背后的新帝国
作者｜袁榭
原创首发｜蓝字计划
全文字数｜约6425
1990年代中期，黄仁勋30出头，他创办的英伟达还没完全站稳脚跟，他希望如日中天的台积电能代工英伟达的显卡，他打电话过去，没人搭理。
多年后，他还在向张忠谋抱怨这段往事：“当年给你打电话打不通也没人回，是不是我电话号码记错了？给你公司在美国的销售部门打电话也没人接。”
今天，全球科技界恐怕没有几个人敢不接黄仁勋的电话，这个当年求人代工显卡的小伙子被称为“教主”，在3月21日的英伟达GTC大会上，他穿着标志性的黑色皮衣出现台上，说出了石破天惊的一番话：我们正处于AI的“iPhone时刻”。
2022年11月，大语言模型ChatGPT问世，预示着能生成自然文章和图像的“生成式AI”将在社会普及，给世界带来颠覆性的改变。而支撑这幅图景的，有英伟达的GPU——AI时代最重要的基础设施之一，GPU提供算力，犹如AI时代的原油。
2020年，全世界跑AI的云计算与数据中心，80.6%都在用英伟达的GPU驱动。2021年，英伟达称全球前五百个超算中，七成由它家的芯片驱动，在最新的超算系统中此比例是九成。运行ChatGPT的微软数据中心用了上万块英伟达H100 GPU。后续，预计需要超过3万块英伟达的GPU来维持更高版本的GPT模型运转。
如同1970年代的欧派克一限产，全世界的汽车都缺油。现在只要英伟达一断供芯片，管你天高股价、地大营收，全球前十大企业里，至少有一半要地震。
黄仁勋和他的算力帝国，已经能扼住时代命脉。这其中，有着通往未来30年的秘密。
2023年英伟达GTC的主题演讲中，黄仁勋专门提到了生成式AI的飞跃：
“十年间，我们从自动判读猫图，进步到能自动生成‘穿太空服的猫在月球漫步’的图片。”
皮衣老黄真不忘本。无论是“AI的iPhone时刻”，还是英伟达成为“算力油田”，都是蓄力于前，发端于自家的“猫片”。
2010年的一天，加州帕罗奥图市的琼安咖啡馆里，刚做上英伟达首席科学家的比尔·戴利（Bill Dally）和当时在谷歌大脑供职的AI界宗师吴恩达（Andrew Ng）聚餐。
十余年过去后他们会发现，正是这场会面，无意地打开了一道通往AI新世界的大门。
两个老友在席间聊起了吴恩达当时课题面临的障碍：训练神经网络AI的算力不够了。
具言之，谷歌要用数千万条YouTube视频来训练神经网络AI分辨猫与人的不同。而当时AI界的领军人物们仍然习惯串联CPU来执行此类任务。吴恩达预计，要完成课题得用1.6万块CPU。
就算是从不缺钱的谷歌，也不会给公司内任一研发项目组轻松批下买1.6万块CPU的预算。AI宗师当年也被难住了。
戴利听完老友诉苦，认为自己有现成解决方案：不就是在线寻猫片么，何必整1.6万块CPU，用我们英伟达公司的显卡产品，几十块就搞定，你信不信？
当时英伟达虽已制霸世界独立显卡业，但名声还只局限在极客、硬核游戏玩家、图形设计师等非普罗用户中。谁也不知道，这将是英伟达公司与人工智能行业双向奔赴、双双出圈的起点。
随后，戴利找上刚从加大伯克利分校招到英伟达的非正职研究员布莱恩· 卡坦扎罗（Bryan Catanzaro），请他帮忙。卡坦扎罗很快找到了解决方案：并联12块英伟达GPU成功驱动了吴恩达的神经网络模型，并联48块GPU就能获取预计要用1.6万块CPU才有的理想效果。
论文一出，学界响震：居然有这种好事？
两年后，AI界泰斗辛顿（Geoffrey Hinton）和学生克里泽夫斯基（Alex Krizhevsky）、萨茨克维尔（Ilya Suskever）效仿此举，用英伟达的GeForce GTX 580显卡训练由克里泽夫斯基提出的神经网络模型AlexNet，夺得ImageNet图像分类竞赛冠军，成为AI技术飞跃的奇点。
从此，英伟达在深度学习芯片市场上撒腿狂奔。2013年内，英伟达在全球深度学习芯片市场占有率是100%。在上个世纪能源是石油，在这个世纪能源是算力。以后的新时代里，黄仁勋的黑皮衣，如同上个世纪海湾国家显贵们的白罩袍，都是唯我独尊的霸主象征。
十余年过去，泰斗和宗师地位更高，年轻人也成了行业大佬。卡坦扎罗现在是英伟达副总裁、深度学习应用研究部负责人，萨茨克维尔现在是OpenAI的首席科学家、联合创始人、GPT系列大模型集合之父。
因为算力的扩张与通用、技术的开发与布局，是英伟达成功的因由。
大人物功成名就后，一般会支楞起来。
2018年初，《财富》杂志举办的活动中，有人问黄仁勋：你何时知道英伟达公司将会改变世界的？黄仁勋答：1993年2月17日，我成立公司的日子。不改变世界，我创个什么业？
皮衣哥自己说得响，但1990年代中，英伟达的运营低谷时账面上曾只有6个星期的资金，离关门一步之遥。
人尽皆知，英伟达靠开发显卡起家。然而黄仁勋创业的初心，与其说是做显卡，不如说一直都是求索算力提高的途径。
在1990年代，多媒体犹如近年的元宇宙、数据可视化犹如当下的生成式AI，都是从投资者到消费者都追捧的热门技术话题。多媒体与可视化数据在当年的舆论浪潮中，被夸到小可以养妻活儿、提高工作娱乐效率，大可以改天换地、重写行业经济版图。
这些技术的基础，是图像数据处理的更佳质量与速度。如果游戏、视频、PPT们始终停留在1992年的粗粝画质，啥都无从说起。
然而追逐时尚比想象中要难。创业公司得决断：是专注个人电脑（PC）端的业务呢，还是专注特定公司的娱乐主机业务呢？是只做图像呢，还是做多媒体通抓音画呢？
尽管当时没有“赛道”的商业新话，企业家抉择的难度并不低于现在。
英伟达的创始概念是加速计算，即用特制设备来为CPU的运算工作减负提速，最简洁的落地方案，自然是堆算力造显卡处理图像。
筹到250万美元后，于1995年5月推出第一款产品：NV1。以现在的后见之明看，NV1的最大作用是给黄仁勋提供了反面经验：这种产品做得很好，以后千万不能做了。
出于为当时的游戏主机巨头世嘉公司服务的考量，NV1最突出的特色，是兼容世嘉游戏在PC上的运行，与业内既有和将出现的其他PC端3D图像程序基础架构的兼容性不够出色。
当时世嘉公司有意将游戏业务从街机、主机端扩展到PC端，NV1的努力迎合了主要合作商的需要，但局限了自己的市场潜力。而且NV1兼具显卡和声卡功能，偏离了加速计算基于图像落地的初衷，产品定位有欠清晰。
NV1没有一鸣惊人，英伟达公司却非一无所获。黄仁勋藉此从风投机构融了650万美元的第二轮投资。
不过在1997年8月推出新产品Riva 128前，英伟达已经裁员过半，银行账户只剩不到6周的流动资金。办公室既窄小，地段又不佳。剩余的员工们不仅要在乒乓球桌上吃饭，连停车场也只能蹭旁边富国银行的，而这家网点已经被抢劫过两三回了。
头炮打哑，只要教训真记住，对创业企业家来说并不完全是绝路。
虽然黄仁勋在各种活动上说创业首年的雇律师、订办公室早饭等各种经验非常宝贵，但从1997-1999年上半年的英伟达三款产品看，他记住的显然不止这些。
英伟达的过往，映照着它的未来。
英伟达此后的转向，一是主业放弃多媒体，专做PC端的显卡。
1990年代中期，游戏业的热门话题是从主机/街机走向PC，而不被注意的潜流是游戏同时在从PC单机走向PC端多人在线。关于图形渲染的硬件性能需求因此与日俱增。只满足这个缺口，已经足以养活整个行业。
二是垂直整合显卡的配套软件，自行开发显卡驱动程序和拓展软件开发工具包（SDK，software development kit）。
过去的惯例是，英伟达这些显卡研发公司把设计交付主板芯片生产商之后，由生产商自己分包给另外的承包者写显卡驱动。至于用显卡做图形设计等专门工作的终端用户、PC运行系统的开发商，与显卡研发者没有直接配合。凡此种种，局限了显卡的性能潜力和用户体验。
1996年，英伟达专为配合微软当时刚推出的Direct3D图形渲染插件，写了自家显卡驱动程序。1998年开始，英伟达公司会定期即时更新自家的通用显卡驱动程序。此举持续至今。
不久前去世的英特尔联合创始人戈登·摩尔（Gordon Moore），在1965年提出了摩尔定律：集成电路上可容纳的晶体管数目，约每隔两年便会增加一倍。衍生的推论，是每隔18个月，芯片的性能就会因此提高一倍。
英伟达公司的决策层，立志要将摩尔定律永续实现。
从1990年代后半叶开始，英伟达的产品设计与研发部门一直有三个部分同时工作：一部分负责本年度新品的设计，一部分负责去年出品的翻新挖潜设计，一部分负责明年新品的设计。每款产品之间，基本要有一倍的性能提高，如果显存没有涨一倍，那么核心频率就得快一倍，如果都不行，那么至少制程要明显缩小。
如此的结果，是英伟达每半年至一年就会推出性能换代的新品，1999年之前的产品内部代码全叫NV，即“下一版”（Next Version）的首字母缩写。其他同业公司跟不上如此搏命的步伐，纷纷退出竞争。
1995年的三十家显卡设计大公司，到1999年末只剩下三家。英伟达与之后被AMD收购的ATI，并肩收割游戏玩家、专业设计师等高性能显卡用户的市场份额。英特尔依靠PC主板的垄断生产商地位，包揽主板集成显卡的低性能用户市场。
1999年10月，英伟达推出GeForce 256，在营销中称“这是世界上第一款GPU”。同年，过去占据显卡市场龙头的3dfx公司破产，被英伟达收购。显卡业告别创业者纷纷崛起的时代，进入了“红绿蓝三国战争”的时代（按商标颜色不同的消费者昵称，“红厂”为AMD、“绿厂”为英伟达、“蓝厂”为英特尔）。
在20世纪的末尾，没人知道这场竞逐的结果，会决定之后由谁主宰世界算力的供应。
经过20年，红绿蓝三厂竞争显卡市场霸主地位的结果揭晓：“绿厂”英伟达胜出了。
这场“三国演义”里，“蓝厂”英特尔一直是配角。凭借全球PC主板市场的垄断地位，英特尔的注意力一直放在CPU而非GPU。在英特尔眼中，要提高性能，得整个主板的整全性能一起提升，只提升图像处理的速度，那是偏门小道。
所以英特尔做显卡只是占位，表示这个市场的钱自己还是要赚点，没有完全放弃。这个策略的结果，现在已经被人做成了搞笑哏图。
究其原因，是CPU要负责整个电脑主板的序时性复杂运算，而GPU在成为通用类芯片前只需负责图像处理的并时性简单运算。如下图所示，单个CPU的控制元件、基础运算单元（ALU）、缓存（Cache）等，都比单个GPU数量少而负重大，因此提升性能的设计与制造难度都远更高。
黄仁勋多次说过，以CPU而言，摩尔定律已经过气，英特尔CPU性能翻倍的最快时限是每五年。然而他家的GPU嘛，还是每一至两年内性能翻倍的哦。
真正的激烈竞争，发生在英伟达和ATI/AMD之间。
这场角逐的早期，英伟达并不显操胜算。在2006年被AMD收购前，ATI出品的显卡，无论更新速度还是单个性能，都屡有明显优于英伟达竞品的佳作。高端显卡的世界第一，在2000年代前半段看不出究竟属谁。
但ATI在这场竞争中已经后续乏力，英伟达的产品更新与性能提升速度，始终达到了摩尔定律的金标准。而ATI的产品更新目标，从胜过英伟达竞品，逐渐变成了赶上英伟达竞品。
ATI/AMD因应此形势的对策，是改作中端显卡：比英特尔的集显性能强，比英伟达的高端显卡更便宜。并且在营销中攻击英伟达的竞品又贵又耗电：顾客大爷你们千万不要被它越来越吓人的性能参数骗了，不是物超所值的哦。
2006年，ATI被AMD收购，英伟达少了一个强对手，胜算增加。
唯一的变数在于芯片代工厂。
显卡业的过往通则，是ATI、英伟达等品牌企业管设计，然后将设计方案交付给芯片厂，委托它们制作成品。
当然，不是没有公司想囊括从设计到生产的全链条，但此举一般会给自己带来双倍的麻烦：以前承接你生意的芯片厂合作伙伴，以后就是要抢你生意的竞争对手。1990年代从显卡龙头到被英伟达收购的3dfx，就是如此把自己玩破产的。
在被收购前，ATI是台积电的大客户。但收购之后，2009年AMD与半导体大厂格芯签约，所有芯片都交由格芯制造。而格芯在芯片制程缩小的技术革新中逐渐落后于台积电，带累了AMD的所有产品，包括显卡。
与之相对的，是英伟达与台积电1997年敲定的合作关系合作越发紧密。
而这两家公司的牵手之路，颇有戏剧性。
1990年代中期，台积电已经是市值近60亿美元的大公司，英伟达没有上市，年营收2700万美元，两者体量差距不小。正如本文开头所述，黄仁勋给张忠谋本人和台积电美国办公室打电话，没人接。
最后，黄仁勋做出了科技史上的著名举动：给张忠谋写纸信。1997年，人在新竹的张忠谋收到来自美国的黄仁勋的信函后，大感兴趣，如信中所邀，给英伟达公司办公室回了电话。
在张忠谋的回忆中，黄仁勋接电话时，办公室背景音嘈杂。在互相通名介绍后，皮衣哥不得不在公司里怒叱：“都闭嘴！悄声些！电话那头是张忠谋！”等到两人第一次见面，黄仁勋先讲了半天图像加速运算的产品理念，张老板表示非常认同，反手递来宣传单。黄仁勋本以为轮到台积电介绍自己的技术与产能了，结果打开一看，是讲公司价值观的。
英伟达在这段合作关系的初期如此伏低做小，越往后收获越大。台积电的芯片制程每年都在缩小，集成电路上的元器件现在已经微缩到物理极限，无法比原子更小。芯片的精密度与日俱增，算力也跟着有数量级的飞跃。
“显卡战争”的结果，是英伟达胜势如潮涌，成为显卡业的世界第一。制霸高端显卡市场的英伟达，有足够的营收来打中端显卡、低端集显的价格战，产品与技术研发也有更充足的预算。
英伟达的技术优势，从一步领先，到一骑绝尘。生成式AI爆火之后，2023年2月英特尔和AMD的CEO也在疾呼：我司有广泛的产品门类适合此行业，明年生成式AI将会更加主流普罗化、更有意义。
这简直是在哀求：时代的脚步啊，你等一等，别让姓黄的把这份钱都赚完了。
胜出后，英伟达的显卡研发没有放缓，算力持续增强。在2000年代后半叶，英伟达就开始着眼未来，研究这些算力的未来用途。
2006年，英伟达推出CUDA开发平台，软件开发者可以通过这一平台，使用C语言编写GPU片上程序，来完成复杂的计算。GPU从此实际脱离图像处理的单一用途，成为了真正的GPGPU（通用GPU）。
强大的算力一旦能通用，成为其他行业的驱动力就是迟早的事。英伟达本身最先想通了这点，在AI领域的布局远比公众想象的早，技术领军人早就和英伟达关系密切。
2010年的吴恩达寻猫片典故之前，2008年卡坦扎罗加入公司，他当时在加州大学伯克利分校做研究生时，就将注意力集中在为AI开发GPU上。2009年，AI界泰斗辛顿在学术会议上，劝上千名研究者赶快买GPU，那是深度学习的未来之光。2016年，微软技术大拿黄学东创下了语音识别AI错误率与专业人类速记员持平的纪录后，得奖开香槟的地点，是黄仁勋的大别墅。
2010-2012年的深度学习飞跃开始后，英伟达已经是稳赢不输的世界“算力油田”，把握数据量与运算速度的世界巅峰。之后所有挑战都能克服，所有阻难都是表象。
英伟达把自己强大的GPU拓展到其他行业的尝试并不是次次得手。Tegra芯片最终没有成功进入手机市场，挖矿芯片随着加密货币潮的褪热前景黯淡，与特斯拉在自动驾驶系统的合作无疾而终，2022年黄仁勋“元宇宙将挺过任何经济下行”的预言现在像个玩笑话。
然而这些不成功尝试是力不虚掷、功不唐捐的。Tegra芯片装不进手机，那就卖给马斯克装进特斯拉车里。为元宇宙开发的Omniverse平台，用来合成训练AI的物理数据，多样性与过拟合规避还胜过了真实世界数据。扎克伯格做不动元宇宙，但黄仁勋的Omniverse却是长做长有。
即使有意竞争者的挑战，最后也成了给英伟达捧场。
2016年，谷歌宣布专门为AI研究开发了机器学习的专属芯片TPU（张量处理单元），并设计了基准测试工具MLPerf。然而在大多数年度的MLPerf测试中，按英伟达员工的自述，“黄总说，我们每次运行MLPerf基准测试时，都要向谷歌证明我们的GPU比TPU运算速度快，哪怕只快一点点就好。”
今年谷歌的TPUv4终于在MLPerf基准测试测试中赢了英伟达的A100芯片，成为业界大新闻：居然有芯片强过了英伟达产品！
蓄势强劲，横绝宇内。从现在到可预见未来的英伟达，如同1970年代至今的迪拜和利雅得：前30年是世界经济的不起眼齿轮，以后就是世界经济的动力舱。一直主宰能源驱动的上游，不管下游行业如何变动，自己都是八风不动。
不管福特和丰田谁赢了家用车竞争，顾客最后都要找海湾土豪买油。不管元宇宙还是生成式AI谁是真正的未来数字产业走向，跑模型的数据中心都要找英伟达买芯片。共生双赢，的确是英伟达赢两次。
作者介绍
Author
历史文章
Review